Следующий элемент плана, который пошел наперекосяк, касался колонны Раста, из которой не было слышно стрельбы. Причина заключалась в том, что Раст захватил в плен несколько пикетчиков и команчей Союза, которым удалось убедить его, что на гребне ему противостоят по меньшей мере 4000 или 5000 солдат Союза, в то время как на самом деле их было всего 200-300. Руст провел короткий военный совет со своими старшими офицерами и решил последовать их совету и отступить. В отсутствие стрельбы со стороны людей Раста запланированная Ли фронтальная атака так и не состоялась, и он не смог убедить Лоринга и его офицеров провести атаку слева - моральный дух людей упал, а решимость их командиров ослабла. Еще одной потерей конфедератов стала гибель помощника Ли полковника Вашингтона, когда он вместе с Руни Ли в поисках другого способа атаковать войска Рейнольдса наткнулся на линию федеральных пикетов на "правом ответвлении Элкуотер-Форк". Это был трагический конец сражения, которое потерпело неудачу еще до своего начала.

Под проливным дождем удрученные, голодные войска Конфедерации медленно возвращались туда, откуда начали свой путь. Неделя изнурения и страданий ничего не дала, и было ясно, что с наступлением зимы здесь уже ничего нельзя будет предпринять. Ли задержался в лагере достаточно долго, чтобы сообщить двум дочерям полковника Вашингтона о смерти их отца и написать губернатору Летчеру довольно банальное письмо о провале "экспедиции", возложив вину на погоду и тщательно избегая какой-либо критики в адрес людей или их офицеров. Любопытно, что, кроме обычных выражений смирения и недостойности, Ли в своем письме Летчеру очень скупо говорит о своих собственных промахах. Ему следовало с самого начала навязать Лорингу свою власть; следовало выбрать более опытного, чем Раст, офицера для руководства атакой на вершину; а когда Раст не пошел в атаку, Ли должен был сконцентрировать собственные силы и двинуть их вперед, чтобы атаковать в любом случае. Прежде всего, Ли должен был сам взять битву под свой контроль. Его выражения сожаления были мягкими по сравнению с поношением, которое вскоре обрушилось на его голову со стороны южной прессы; именно с этого времени публика, считавшая его слишком осторожным, чтобы командовать в бою, стала называть его "бабушкой Ли". Правда в том, что Ли не искал похвалы за то, что у него получалось, и не винил других или себя, когда что-то шло не так. Он видел во всем Божью волю и терпеливо сносил критику. Это святое поведение, но очень редкое среди генералов, и оно объясняет некую непрозрачность характера Ли, даже описанного его поклонниками. Даже его преданный помощник Уолтер Тейлор кажется озадаченным этим, а ведь ни один человек не был ближе к Ли.

19 сентября Ли отправился на юг, в долину Канава, где, казалось, разворачивалась еще одна потенциальная катастрофа Конфедерации. Наступление противника там угрожало как Вирджинской центральной, так и Оранжевой и Александрийской железным дорогам. Генералы Уайз и Флойд не только презирали друг друга, но теперь вообще отказывались сотрудничать; в результате Флойд отступил со "своей маленькой армией" под умеренным давлением Союза, а генерал Уайз отказался отступать со своей позиции у горы Сьюэлл, заявив, что намерен сражаться до конца и не обязан подчиняться приказу генерала Флойда. Ли, наконец осознав, что недостающим элементом обороны северо-западной Вирджинии была его собственная неспособность навязать свою волю непокорным или некомпетентным генералам, сумел заставить Флойда двинуться вперед; но и здесь, как и у Чит-Маунтин, плохая погода, скудные пайки и низкий моральный дух не позволили начать убедительную атаку. Почти четыре недели Ли пытался разобраться с беспорядком, который Уайз и Флойд самостоятельно устроили на ключевом участке, потеря которого поставила бы под угрозу две жизненно важные железные дороги. Уайз и Флойд стали прекрасными примерами того, как опасно давать политикам не только звание генерала, но и реальное активное командование в полевых условиях. Уайз был более агрессивным и смелым из них; Флойд через несколько месяцев навлечет на себя позор, бежав из форта Донелсон, когда Улисс С. Грант окружил и атаковал его, бросив командование генералу Бакнеру - эпизод, о котором Грант позже написал: "[Флойд] не был солдатом, и, возможно, не обладал элементами солдата", назвав его "непригодным для командования" - суждение, которое кажется умеренным и было разделено обеими армиями.

Как ни странно, именно осторожному Флойду Ли отдал предпочтение перед более импульсивным Уайзом. По его совету президент Дэвис отозвал Уайза в Ричмонд, оставив командовать Флойдом. К счастью для Конфедерации, плохая погода и робкий генералитет не позволили федералам воспользоваться ситуацией, и с наступлением зимы Ли смог стабилизировать своеобразный фронт. Это был своего рода триумф Ли, который преодолел хаос и нарушенную систему командования, и в конце концов своим присутствием он предотвратил катастрофу.

Пресса не давала Ли никаких поблажек. Флойд, карьерный политик, разбирался в связях с общественностью, как мы это сейчас называем, лучше, чем Ли, и успел напечатать свою версию истории до того, как Ли снова вернулся в Ричмонд. Даже Ли, который редко критиковал кого-либо, обратил внимание на тот факт, что в штате Флойда было "три редактора", которые восхваляли своего генерала и порицали всех остальных. Газета Richmond Examiner назвала Ли "перехитрившим, перехитрившим и перехитрившим генерала" и предположила, что Флойд хотел сражаться, но Ли отменил его решение и позволил генералу Роузкрансу уйти "без сопротивления", что было практически противоположно тому, что произошло. Эта же газета критиковала Ли за то, что он слишком много времени уделяет изучению карт и планированию, и жаловалась, что, поскольку стратегия Ли провалилась, "бесполезно обсуждать ее достоинства", а затем обвинила Ли в "излишней осторожности". Газета Charleston (Южная Каролина) Mercury обвинила его в том, что он "великий генерал, который никогда не может подойти к врагу", и спросила далее: "Неужели дороги для Ли хуже, чем для Роузкранса? Людям надоела эта бездумная копание в грязи, научная война, и они требуют, чтобы Великий Окопник вернулся и разрешил ухаживать за дамами". Один из офицеров Ли заявил, что армия никогда не двинется вперед, "пока кто-нибудь не положит уголек огня на спину этого старого черепахи Ли". "Бабушка Ли", "Король пик", "Великий укрепитель" - акции Ли упали на всем Юге, и теперь его жалели и смеялись над ним больше, чем восхищались. Он написал Мэри, которая находилась в Хот-Спрингсе "на лечении", с легким оттенком язвительности: "Мне жаль, как вы говорите, что движение армий не может соответствовать ожиданиям редакторов газет. Я знаю, что на бумаге они могут удовлетворительно для себя регулировать